1

先進生成AIの全体像

PolyU COMP5511Lesson 11
00:00

Advanced Generative AI 先進生成AI は、孤立したモノリシックなモデルから、以下の要素で定義される多層エコシステムへと進化しました: 複合AIシステム。この変化は、単純な確率的トークン予測から、基盤モデル(FM)、モジュラープラグイン、クロスモーダル合成を統合するシステムへと移行しています。

コンピューティング / クラウドインフラLLM拡散モデル音声 / コードオーケストレーション & エージェント層

生成的スタックの分類体系

  • インフラ層:トレーニングと高速推論に必要な大規模な計算リソースを提供するハードウェア基盤(GPU/TPU)およびクラウドサービス。
  • モデル層:GPT-4、Llama 3、Stable Diffusion などの基盤モデル(FM)で、異なるモダリティのための特化型エンジンとして機能します。
  • オーケストレーション層:ロジック、データフロー、検索を管理するフレームワークで、モデルを「凍結された」重みから以下を備えたシステムへと移行させます: リアルタイムのコンテキスト認識。

モダリティの収束

技術的なトレンドは、主にTransformerと拡散モデルのアーキテクチャを統合し、共有の潜在空間を実現することに焦点を当てています。これにより、テキスト、画像、映像が情報の連続的なストリームとして操作される単一の統一インターフェースが可能となり、数学的には異なる潜在多様体間の写像 $M_{text} \leftrightarrow M_{visual}$ として表現されます。

構造的進化
私たちは、トレーニングデータのパラメータ $\theta$ のみに依存する「クローズドブック」モデルから、外部環境の状態 $E$ を用いて $P(y|x, E)$ を介して複雑な推論タスクを解決する「オープンブック」システムへと移行しています。
Python実装